Câu lạc bộ được thành lập vào năm 1898 với tên gọi Câu lạc bộ bóng đá Swanage Albion, tham gia Dorset Junior League và giành được Dorset Junior Cup trong mùa giải đầu tiên của đội.[2] Câu lạc bộ sau đó đã lọt vào Dorset Senior League trong những năm 1920.[3] Thập niên 1920 cũng chứng kiến câu lạc bộ chuyển từ nền tảng ban đầu của họ tại Trường cấp 2 Swanage, đến Days Park và đổi tên thành Thị trấn Swanage Town.[4]

Trong mùa giải 1957-58 câu lạc bộ đã trở thành một trong những thành viên sáng lập của Dorset Combination League.[5] Mùa giải đầu tiên tại giải đấu này đã chứng tỏ sự thành công khi câu lạc bộ trở thành đội vô địch đầu tiên của giải.[6] Năm mùa giải tiếp theo, câu lạc bộ cán đích ở vị trí thứ hai trong tốp đầu, bằng cách vô địch giải đấu ba lần liên tiếp trong các mùa giải 1959-60, 1960-61 và 1961-62, và kết thúc Á quân trong các mùa giải 1958-59 và 1962- 63.[7] Mùa giải 1961-62 cũng chứng kiến câu lạc bộ lọt vào Cúp FA lần đầu tiên trong lịch sử, thua Bridport ở vòng loại đầu tiên.[5]

Năm 1966 Swanage Town hợp nhất với đội bóng địa phương Herston Rovers F.C., đội đã chơi trong Dorset Combination League trong năm mùa giải, và câu lạc bộ đã được đổi tên Swanage Town & Herston F.C..[8] Câu lạc bộ sau đó ở lại Dorset Combination League trong mười mùa giải nữa, cho đến khi kết thúc mùa giải 1975-76 khi họ rời giải đấu để tham gia vào Division One mới được cải tổ của Western Football League.[9]

Sau mười một mùa giải ở Division, câu lạc bộ đã thăng hạng lên Premier Division, khi kết thúc với tư cách là nhà vô địch ở Division.[10] Mùa giải 1989-90 chứng kiến câu lạc bộ chơi mùa giải cuối cùng của đội ở giải đấu Western khi họ tham gia Wessex Football League.[10] Mùa giải cuối cùng ở giải đấu Western đã chứng kiến câu lạc bộ vô địch Dorset Senior Cup lần đầu tiên và duy nhất, khi họ đánh bại Weymouth 1-0 trong trận chung kết.[11] Mùa giải đầu tiên ở Wessex Football League, câu lạc bộ cán địch ở vị trí Á quân.[12] Mùa giải 1990-91 cũng chứng kiến câu lạc bộ lọt vào chung kết Dorset Senior Cup một lần nữa, nhưng lần này để thua Weymouth 5-1.[13]

Mùa giải 1995-96 chứng kiến câu lạc bộ xếp cuối bảng xếp hạng Wessex, và họ bị xuống hạng trở lại giải đấu Dorset Combination.[14] Sau bốn mùa giải ở giải đấu Dorset Combination, câu lạc bộ đã tái gia nhập giải đấu Wessex.[12] Tuy nhiên, họ chỉ có thể trải qua hai mùa giải ở giải đấu khi mùa giải thứ hai trở lại chứng kiến họ kết thúc ở vị trí cuối cùng của giải đấu và xuống hạng Dorset Premier Football League[12][15] Mùa giải 2007-08 chứng kiến câu lạc bộ xếp cuối Premier League, nhưng họ đã thoát xuống hạng ở Dorset Football League vì may mắn cho họ là không có suất xuống hạng trong mùa giải đó.[3] Hai mùa giải sau, câu lạc bộ dưới sự quản lý của Jason Phillips đã vô địch Dorset Premier Football League Cup.[3] Trong mùa giải 2016-17, The Swans giành lại Dorset Premier Football League Cup khi đánh bại Gillingham Town Dự bị 2-0 trong trận chung kết.